查看原文
其他

基于UE4全实时?影视级实时真人虚拟CG交互,真正的即时出片技术来了!

CG世界 2022-05-24

点击上方蓝字CG世界关注我们

“ 感触CG· 感知技术 · 感受艺术 · 感悟心灵 ”
中国很有影响力影视特效CG动画领域自媒体


早早,早上好小伙伴们!


还记得春节期间我们解析的那篇春晚现场技术的文章么?一下冲到热搜,阅读一时间达到了3万多。后台很多小伙伴问其中详细的技术实现过程,还有一些是询问我们想找技术制作公司做项目的。后来我们询问了好久,终于找到一家公司,然后详细的了解了下幕后制作,今天就带大家学习下幕后的技术实现过程吧。


我们追踪到的这家虚拟技术提供商是为央视春晚刘德华《牛起来》节目提供技术支持的世优(北京)科技有限公司。



通过采访相关负责人得知,此次节目,他们利用虚拟演播室系统,通过北京&香港录制与控制的方式,采用全4K+HDR的信号格式,将远在香港的刘德华成功的请回了春晚现场。通过VR技术,让歌手和整个场景以及植入进来的元素产生交互,呈现出一场视觉盛宴!



我们将通过对技术的详细分解,希望能够给大家带来一些制作应用的启迪。


1. 

虚拟演播室系统


首先要讲到的就是刘德华此次运用的这套虚拟演播室系统。在这套流程中,会使用摄像机和绿幕布景的传统广播设置,同时搭载运行的是世优的一套基于UE4的实时广播合成系统。它是目前世界上第一个存在于GPU上(基于图像)工作的实时抠像器。



虚拟演播室系统的实时抠像技术是其点睛之笔,应用针对GPU进行高度优化的软件色键器,不需要额外的硬件色键器,就能完成实时抠像与合成。


利用色度抠像生成虚拟抠像区域的空背景,将拍摄的视频与空背景对比,从而能够保留微妙的透明度细节和阴影。

 

为了给移动的摄像机创建空背景,这套系统提供了创建虚拟抠像区域的功能,将拍摄的实体绿幕布景的影像映射到这个数字化副本上。然后将来自摄像机的跟踪数据输入这个节点中,使系统能够为每一帧画面创建空背景。



在虚拟引擎的作用下,在绿幕中进行带跟踪的实时抠像。虚拟演播室系统的跟踪技术有4种方式,网格跟踪技术、传感器跟踪技术、红外跟踪技术、超声波跟踪技术。


其基本原理都是采用图像或者机械的方法,结算并记录真实摄像机的位置和姿态参数、镜头参数等,将其同步给虚拟摄像机,以和真实场景进行无缝融合,创造出科技、无违和的舞台呈现。


此外,支持垃圾遮罩、强制填充和消色处理旁通遮罩等功能。这些蒙版可实现虚拟工作室的虚实混合,可以将虚拟环境与真实环境结合在一起。



透明物体往往是抠像最为避讳的,因为透明物质对光的透过率较高,抠像处理的难度比较大。


虚拟演播室系统的色渐器基于16位浮点运算合成图像,在引擎内部进行画面抠像合成。即可将发丝、白色毛领、水瓶、阴影、烟雾等精细或透明物体从绿幕分离并与实景融为一体。抠像边缘没有任何杂色,抠像质量清晰、细腻、色彩还原度高。


虚拟演播室系统发丝抠像测试像素级别快速处理发丝抠像


虚拟演播室系统透明矿泉水瓶抠像测试保留透明质地和光感


虚拟演播室系统地面阴影测试阴影自然逼真


虚拟演播室系统人与环境的融合


以上实时抠像合成后的场景,是由制作团队根据实体虚拟演播室绘制,扫描了各种实体元素确保和虚拟场景完美吻合。


与传统虚拟系统不同,这套虚拟演播室系统是UE4内生系统,完全支持其物理材质,蓝图控制,粒子效果等。传统的CG制作,是把人物先绿幕抠像再结合场景、特效进行渲染合成,输出视频。但是世优科技虚拟演播室系统能在一台机器上实现视频输入/输出、键控、 合成和渲染的实时呈现视觉效果。


场景建模只需在传统的3D软件中创建,并通过FBX导入UE4中。画面渲染合成同时在引擎内完成,真正做到了实拍画面和虚拟物体完美融合。


亮点一:打破了空间环境的限制。

亮点二:可实时预览。

亮点三:基于UE4引擎。

亮点四:超高质感的画面渲染能力,游戏级的粒子效果以及动画。

亮点五:现场即时可出片。


这套“随时随地搭建,即装即用”高效便捷的系统,让实时效果达到了后期影视级别。为CG工作人员带来了便利,非常的灵活,效果也是杠杠滴。


除了抠像效果外,这套系统还具有XR功能。


2. 

XR功能


XR(Extended Reality,扩展现实)是指通过计算机技术的一个真实与虚拟组合、可人机交互的环境,是AR、VR、MR三者视觉交互技术融合。


XR以三面LED屏幕构建了可视化的虚拟三维空间。现场通过摄像机跟踪系统实时提供演员在虚拟三维空间的位置数据。



通过渲染引擎在LED屏幕上实时呈现动态虚拟场景,用“假”的画面填充覆盖某些“真”的地方,起到补充和扩大场景的效果。演员能够根据屏幕画面,与身边的虚拟元素可以进行沉浸式互动,打破了传统虚拟制作抠像技术限制,实现了虚拟空间与现实世界的无缝衔接。



独有的遮罩虚化可以让虚拟内容和实景融合天衣无缝,而三维遮罩控制还可以自行定义实景上的遮挡关系。



这就意味着,游戏、电影电视里的演员不需要长途跋涉到现场去参加拍摄。也能实现三A级游戏质量的画面。此外,世优提供的虚拟演播室系统具有AR、VR等功能。




3. 

动作捕捉


除了实时抠像与虚拟场景合成之外,虚拟角色亦是影视制作中不可或缺的一环。电影《阿凡达》的重新上映是动作捕捉技术的又一次普及。


而虚拟演播室系统,将动捕服等硬件全都借助软件-虚拟演播室系统连接在一起,让虚拟角色接入到虚拟演播室系统中。通过实时表演捕捉数字化人物,可以实时预览,并与虚拟场景渲染合成,无缝整合到现有的动画&直播制作流程中,让制作时间大大缩短。



虚拟演播室系统使用3D虚幻引擎实时处理动捕演员肢体运动、面部表情、手指等部位的动捕数据,实时给观众呈现鲜活的形象。



基于3D虚幻引擎可以创造出卡通形象、二次元形象、照片级的数字人类,并且配备完整的骨骼绑定和毛发服装。让数字人拥有着以假乱真的面部表情,细腻的皮肤纹理以及毛发细节。


当动捕演员和真人嘉宾都在绿幕中,想要不出现虚拟形象但要保存真人嘉宾,传统做法是让动捕演员穿上绿色动捕服,或用体型相似的虚拟角色直接挡住动捕演员。虚拟演播室系统即可实现为动捕演员加上遮罩,达到隐身的效果,完美在画面中隐藏。


表演捕捉数据在虚拟演播室系统中实时捕捉、实时渲染,并支持文件导入Maya、UE4等软件、实现高质量表演捕捉动画。


动捕技术结合虚拟演播室系统,已经被广泛用于虚拟制作的方方面面,比如预览、布景、实时动捕、模拟摄影、现场合成、镜头内特效(In Camera VFX)和最终成像渲染等。


目前,虚拟演播室系统已广泛应用在直播、广电领域。



这套系统完美地将游戏制作科技和电影电视融合在一起,用最短的生产周期实现了电影级的效果。


局限你的不再是技术,而是想象力。相信在世优科技演播室系统的加持下,未来会创造出更多的应用场景,为直播、广电、影视行业带来更多的革新与突破。


如果大家有合作意向,可以直接加小姐姐微信咨询哦~


  手机微信同号:13261728668

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存